我们提出了使用多级蒙特卡罗（MLMC）方法的变分推理的差异减少框架。我们的框架是基于Reparameterized梯度估计的梯度估计，并在优化中从过去更新历史记录获得的“回收”参数。此外，我们的框架还提供了一种基于随机梯度下降（SGD）的新优化算法，其自适应地估计根据梯度方差的比率用于梯度估计的样本大小。理论上，通过我们的方法，梯度估计器的方差随着优化进行而降低，并且学习率调度器函数有助于提高收敛。我们还表明，就\ Texit {信噪比}比率而言，我们的方法可以通过提高初始样本大小来提高学习速率调度器功能的梯度估计的质量。最后，我们确认我们的方法通过使用多个基准数据集的基线方法的实验比较来实现更快的收敛性并降低梯度估计器的方差，并降低了与其他方法相比的其他方法。

This study targets the mixed-integer black-box optimization (MI-BBO) problem where continuous and integer variables should be optimized simultaneously. The CMA-ES, our focus in this study, is a population-based stochastic search method that samples solution candidates from a multivariate Gaussian distribution (MGD), which shows excellent performance in continuous BBO. The parameters of MGD, mean and (co)variance, are updated based on the evaluation value of candidate solutions in the CMA-ES. If the CMA-ES is applied to the MI-BBO with straightforward discretization, however, the variance corresponding to the integer variables becomes much smaller than the granularity of the discretization before reaching the optimal solution, which leads to the stagnation of the optimization. In particular, when binary variables are included in the problem, this stagnation more likely occurs because the granularity of the discretization becomes wider, and the existing modification to the CMA-ES does not address this stagnation. To overcome these limitations, we propose a simple extension of the CMA-ES based on lower-bounding the marginal probabilities associated with the generation of integer variables in the MGD. The numerical experiments on the MI-BBO benchmark problems demonstrate the efficiency and robustness of the proposed method. Furthermore, in order to demonstrate the generality of the idea of the proposed method, in addition to the single-objective optimization case, we incorporate it into multi-objective CMA-ES and verify its performance on bi-objective mixed-integer benchmark problems.

我们在随机多臂匪徒问题中使用固定预算和上下文（协变）信息研究最佳武器识别。在观察上下文信息之后，在每一轮中，我们使用过去的观察和当前上下文选择一个治疗臂。我们的目标是确定最好的治疗组，这是一个在上下文分布中被边缘化的最大预期奖励的治疗组，而错误识别的可能性最小。首先，我们为此问题得出半参数的下限，在这里我们将最佳和次优的治疗臂的预期奖励之间的差距视为感兴趣的参数，以及所有其他参数，例如在上下文中的预期奖励，作为滋扰参数。然后，我们开发“上下文RS-AIPW策略”，该策略由随机采样（RS）规则组成，跟踪目标分配比和使用增强反向概率加权（AIPW）估算器的建议规则。我们提出的上下文RS-AIPW策略是最佳的，因为错误识别概率的上限与预算到Infinity时的半参数下限相匹配，并且差距趋于零。

当分别从$ \ mathfrak {l} $ - subgaussian分布和重尾分布中，分别采样协变量和噪声时，我们考虑了线性回归系数的鲁棒和稀疏估计，并由对抗性和噪音污染异常值。我们处理两种情况：协变量的已知或未知协方差。特别是在前一种情况下，我们的估计器几乎达到了信息理论上的最佳错误绑定，而我们的错误界限比以前处理类似情况的研究更明显。我们的估计分析在很大程度上依赖于通用链条来得出急剧的误差界限。

一个由许多移动计算实体组成的自动移动机器人系统（称为机器人）吸引了研究人员的广泛关注，并阐明机器人的能力与问题的可溶性之间的关系是近几十年来的新兴问题。通常，只要没有任何机器人的数量，每个机器人都可以观察所有其他机器人。在本文中，我们提供了关于机器人观察的新观点。机器人不一定要观察所有其他机器人，而不管距离距离如何。我们称此新的计算模型瑕疵视图模型。在该模型下，在本文中，我们考虑了需要所有机器人在同一时刻收集的收集问题，并提出了两种算法来解决对抗性（$ n $，$ n-2 $）中的收集问题 - 违法模型对于$ n \ geq 5 $（每个机器人最多观察$ n-2 $机器人在对手身上选择）和基于距离的（4,2）的模型（每个机器人在最接近的机器人最接近的机器人中分别观察到）分别，其中$ n $是机器人的数量。此外，我们提出了一个不可能的结果，表明在对抗性或基于距离（3,1）的模型中没有（确定性的）收集算法。此外，我们在放松的（$ n $，$ n-2 $）中的聚会中表现出了不可能的结果。

预计到2023年，物联网设备的数量将达到1,250亿。物联网设备的增长将加剧设备之间的碰撞，从而降低通信性能。选择适当的传输参数，例如通道和扩展因子（SF），可以有效地减少远程（LORA）设备之间的碰撞。但是，当前文献中提出的大多数方案在具有有限的计算复杂性和内存的物联网设备上都不容易实现。为了解决此问题，我们提出了一种轻巧的传输参数选择方案，即使用用于低功率大区域网络（Lorawan）的增强学习的联合通道和SF选择方案。在拟议的方案中，可以仅使用确认（ACK）信息来选择适当的传输参数。此外，我们从理论上分析了我们提出的方案的计算复杂性和记忆要求，该方案验证了我们所提出的方案可以选择具有极低计算复杂性和内存要求的传输参数。此外，在现实世界中的洛拉设备上实施了大量实验，以评估我们提出的计划的有效性。实验结果证明了以下主要现象。 （1）与其他轻型传输参数选择方案相比，我们在Lorawan中提出的方案可以有效避免Lora设备之间的碰撞，而与可用通道的变化无关。 （2）可以通过选择访问通道和使用SFS而不是仅选择访问渠道来提高帧成功率（FSR）。 （3）由于相邻通道之间存在干扰，因此可以通过增加相邻可用通道的间隔来改善FSR和公平性。

变压器的令人印象深刻的性能归因于自我注意力，在每个位置都考虑了整个输入之间的依赖性。在这项工作中，我们改革了神经$ n $ gram模型，该模型仅着眼于每个位置的几个周围表示，其多头机制如Vaswani等人（2017年）。通过对序列到序列任务的实验，我们表明，用多头神经$ n $ gram在变压器中替换自我注意力可以比变压器实现可比性或更好的性能。从对我们提出的方法的各种分析中，我们发现多头神经$ n $ gram是互补的，它们的组合可以进一步提高香草变压器的性能。

城市河流提供了影响住宅生活的水环境。河流表面监测对于决定在哪里确定清洁工作以及何时自动开始清洁处理至关重要。我们专注于有机泥浆或“浮渣”，该泥浆积聚在河流的表面上，并给予其特殊的气味和对景观的外部经济影响。由于其具有稀疏分布和不稳定的有机形状模式的特征，因此很难自动进行监测。我们建议使用混合图像增强物进行斑块分类管道，以检测河流表面上的浮渣特征，以增加漂浮在河流上的浮渣与附近建筑物，例如建筑物，桥梁，杆子和障碍物（如建筑物，桥梁和障碍物）所反映的河流背景的多样性。此外，我们建议在河流上覆盖的浮渣索引，以帮助在线监视较差的等级，收集浮渣并决定化学处理政策。最后，我们展示了如何在每十分钟的时间序列数据集中使用框架的时间序列数据集录制河流浮渣事件。我们讨论管道的价值及其实验发现。

多模式学习是建立模型的框架，这些模型可以根据不同类型的方式进行预测。多模式学习中的重要挑战是通过这些表示从任意模式和跨模式产生的共同表示形式推断；但是，实现这一目标需要考虑多模式数据的异质性质。近年来，深层生成模型，即通过深层神经网络参数化的生成模型引起了很多关注，尤其是变异自动编码器，这些自动编码器适合于实现上述挑战，因为它们可以考虑异质性并推断出数据的良好表示。。因此，近年来已经提出了基于变异自动编码器的各种多模式生成模型，称为多模式深生成模型。在本文中，我们提供了对多模式深生成模型研究的分类调查。

深度学习模型容易受到对抗性例子的影响，用于产生此类示例的对抗性攻击引起了相当大的研究兴趣。尽管基于最陡峭下降的现有方法已经取得了很高的攻击成功率，但条件不足的问题偶尔会降低其性能。为了解决此限制，我们利用了对这种类型问题有效的共轭梯度（CG）方法，并提出了一种受CG方法启发的新型攻击算法，称为自动结合梯度（ACG）攻击。在最新的健壮模型上进行的大规模评估实验的结果表明，对于大多数模型而言，ACG能够找到比现有SOTA算法自动PGD（APGD）更少迭代的对抗性示例。我们研究了ACG和APGD在多元化和强化方面的搜索性能差异，并定义了一种称为多样性指数（DI）的度量，以量化多样性的程度。从使用该指数对多样性的分析中，我们表明对所提出方法的更多样化的搜索显着提高了其攻击成功率。